pyannote.audioがメジャーアップデートし3.0.0がリリースされました

pyannote.audioがメジャーアップデートし3.0.0がリリースされました

#Python
#機械学習
#Deep Learning
nokomoro3

nokomoro3

facebook logohatena logotwitter logo
Clock Icon2023.09.28

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

こんちには。

データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。

pyannote.audio v3が2023/09/26に公開されました。

少し使い方の異なる部分がありましたので、ブログを再度投稿します。

以下は過去のpyannote.audio v2のブログとなりますので、こちらも併せてご参照ください。

pyannote.audioとは

pyannote.audioとは話者ダイアライゼーションを行うライブラリです。

ベースのフレームワークはPyTorchとなっており、end-to-endの話者ダイアライゼーションを実現します。

話者ダイアライゼーションとは、どこの時間でどの話者がしゃべったのか、話者認識をせずに実施する技術のことを指します。

v3のアップデートについては以下に記載があります。

v3のポイントをいくつかピックアップしました。

  • より良い性能をもつ音声区間検出と話者ダイアライゼーションを使用し、性能を向上
  • APIの変更により、話者埋め込みベクトルが取得しやすくなった

その他様々なアップデートがされているようですので、詳細は公式をご覧ください。

モデルの構成

pyannote.audioはHugging Faceで展開されているライブラリを以下のように複数使用してその処理を実現しています。

トップのモジュールはpyannote/speaker-diariation-3.0で、v3でリポジトリ自体が変わっています。

依存モジュールとしてpyannote/segmentation-3.0も、v3でリポジトリ自体が変わっています。

またv2においてEmbeddingで使われていたspeechbrain/spkrec-ecapa-voxcelebはhbredin/wespeaker-voxceleb-resnet34-LMに変わっています。

動かしてみた

今回は前回記事同様、オフラインで実行する場合の手順を見ていきます。

使用環境

Google Colaboratoryを使います。

ハードウェアアクセラレータはGPU T4、ハイメモリはオフで実施します。

Pythonのバージョン情報は以下です。

!python --version

# Python 3.10.12

モジュールのインストール

以下でインストールできます。

!pip install pyannote.audio

関連しそうなモジュールのバージョンは以下のようになっています。

!pip freeze | grep \
    -e "torch==" -e "torch" -e "pyannote" -e "ipython==" -e "huggingface-hub"

# huggingface-hub==0.17.3
# ipython==7.34.0
# pyannote.audio==3.0.0
# pyannote.core==5.0.0
# pyannote.database==5.0.1
# pyannote.metrics==3.2.1
# pyannote.pipeline==3.0.1
# pytorch-lightning==2.0.9
# pytorch-metric-learning==2.3.0
# torch @ https://download.pytorch.org/whl/cu118/torch-2.0.1%2Bcu118-cp310-cp310-linux_x86_64.whl#sha256=a7a49d459bf4862f64f7bc1a68beccf8881c2fa9f3e0569608e16ba6f85ebf7b
# torch-audiomentations==0.11.0
# torch-pitch-shift==1.2.4
# torchaudio @ https://download.pytorch.org/whl/cu118/torchaudio-2.0.2%2Bcu118-cp310-cp310-linux_x86_64.whl#sha256=26692645ea061a005c57ec581a2d0425210ac6ba9f923edf11cc9b0ef3a111e9
# torchdata==0.6.1
# torchmetrics==1.2.0
# torchsummary==1.5.1
# torchtext==0.15.2
# torchvision @ https://download.pytorch.org/whl/cu118/torchvision-0.15.2%2Bcu118-cp310-cp310-linux_x86_64.whl#sha256=19ca4ab5d6179bbe53cff79df1a855ee6533c2861ddc7389f68349d8b9f8302a

Hugging Faceコンソールでの操作

最初のダウンロードにはHugging Faceでの操作が必要ですので、まずはHugging Faceのアカウントを作成してログインします。

その後、以下２つのリポジトリのuser conditionをAcceptする必要があります。

Accept画面は以下のように表示されるので、必要事項を入力してボタンを押下してください。

その後、ユーザ管理画面の以下のURLにアクセスし、トークンを作成しておきます。

モデル取得

まずは以下でキャッシュフォルダを変更しておきます。

import os

# 注: デフォルト(未指定)の場合は ~/.cache/huggingface/hubとなります
os.environ['HUGGINGFACE_HUB_CACHE'] = './assets'

その後、以下でHugging Faceからモデルを取得します。

HF_TOKEN = "{作成したHugging Faceのトークン}"

from huggingface_hub import hf_hub_download, snapshot_download

config_path = hf_hub_download(repo_id="pyannote/speaker-diarization-3.0",
    filename="config.yaml",
    use_auth_token=HF_TOKEN)

segmentation_model_path = hf_hub_download(repo_id="pyannote/segmentation-3.0",
    filename="pytorch_model.bin",
    use_auth_token=HF_TOKEN)

snapshot_download("hbredin/wespeaker-voxceleb-resnet34-LM")

次にpyannote/speaker-diarization-3.0のconfig.yamlとpyannote/segmentation-3.0のpytorch_model.binについて、実体を分かりやすい場所にコピーしておき、元フォルダ自体は削除します。

!cp -L {segmentation_model_path} ./assets/pytorh_model.bin
!cp -L {config_path} ./assets/config.yaml
!rm -rf ./assets/models--pyannote--segmentation-3.0
!rm -rf ./assets/models--pyannote--speaker-diarization-3.0

本時点でファイル構成は以下のようになります。

!find ./assets

# ./assets
# ./assets/config.yaml
# ./assets/models--hbredin--wespeaker-voxceleb-resnet34-LM
# ./assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/blobs
# ./assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/blobs/1b116fbd9e410a379801292073d336707b27c97c
# ./assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/blobs/7bb2f06e9df17cdf1ef14ee8a15ab08ed28e8d0ef5054ee135741560df2ec068
# ./assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/blobs/a6344aac8c09253b3b630fb776ae94478aa0275b
# ./assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/blobs/d151b72237c3df707fd6cb31e783903171804fa2
# ./assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/snapshots
# ./assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/snapshots/354ddb4cbab6f6ff45cb763eac517873927dcf74
# ./assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/snapshots/354ddb4cbab6f6ff45cb763eac517873927dcf74/LICENCE.md
# ./assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/snapshots/354ddb4cbab6f6ff45cb763eac517873927dcf74/speaker-embedding.onnx
# ./assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/snapshots/354ddb4cbab6f6ff45cb763eac517873927dcf74/.gitattributes
# ./assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/snapshots/354ddb4cbab6f6ff45cb763eac517873927dcf74/README.md
# ./assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/refs
# ./assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/refs/main
# ./assets/pytorh_model.bin

こちらをそのままzipに固めておきます。

!zip -r assets.zip ./assets

こちらをダウンロードするなどしてどこか別の場所に置いておきます。

ノートブック再起動

Google Colaboratoryを一旦、「ランタイムを接続解除」をして削除します。

その後は再度セットアップが必要ですので、pyannote.audioをインストールします。

!pip install pyannote.audio

モデル読込

ダウンロードしたzipファイルassets.zipをまずアップロードし、任意の場所で展開します。

いまはカレントディレクトリにassets.zipがあると想定します。

こちらを例えば./tmpに展開します。

!unzip assets.zip -d ./tmp

# Archive:  assets.zip
#    creating: ./tmp/assets/
#   inflating: ./tmp/assets/config.yaml  
#    creating: ./tmp/assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/
#    creating: ./tmp/assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/blobs/
#   inflating: ./tmp/assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/blobs/1b116fbd9e410a379801292073d336707b27c97c  
#   inflating: ./tmp/assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/blobs/7bb2f06e9df17cdf1ef14ee8a15ab08ed28e8d0ef5054ee135741560df2ec068  
#   inflating: ./tmp/assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/blobs/a6344aac8c09253b3b630fb776ae94478aa0275b  
#   inflating: ./tmp/assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/blobs/d151b72237c3df707fd6cb31e783903171804fa2  
#    creating: ./tmp/assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/snapshots/
#    creating: ./tmp/assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/snapshots/354ddb4cbab6f6ff45cb763eac517873927dcf74/
#   inflating: ./tmp/assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/snapshots/354ddb4cbab6f6ff45cb763eac517873927dcf74/LICENCE.md  
#   inflating: ./tmp/assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/snapshots/354ddb4cbab6f6ff45cb763eac517873927dcf74/speaker-embedding.onnx  
#   inflating: ./tmp/assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/snapshots/354ddb4cbab6f6ff45cb763eac517873927dcf74/.gitattributes  
#   inflating: ./tmp/assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/snapshots/354ddb4cbab6f6ff45cb763eac517873927dcf74/README.md  
#    creating: ./tmp/assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/refs/
#   inflating: ./tmp/assets/models--hbredin--wespeaker-voxceleb-resnet34-LM/refs/main  
#   inflating: ./tmp/assets/pytorh_model.bin

展開したフォルダに応じて、config.yamlを以下のように書き換えます。

import yaml

with open("./tmp/assets/config.yaml", 'r') as yml:
    config = yaml.safe_load(yml)

config["pipeline"]["params"]["segmentation"] = "./tmp/assets/pytorh_model.bin"

with open("./tmp/assets/config.yaml", 'w') as f:
    yaml.dump(config, f)

最後にHUGGINGFACE_HUB_CACHEを展開したフォルダに応じて書き換えます。こちらは絶対パスで指定しておきます。

import os
import pathlib

os.environ['HUGGINGFACE_HUB_CACHE'] = str(pathlib.Path("./tmp/assets").absolute())

こちらで準備が整いました。

話者ダイアライゼーションのテスト

準備が整ったので、話者ダイアライゼーション処理をしてみます。

今回は公式のノートブックで使用されていた音声を使います。

!wget -q http://groups.inf.ed.ac.uk/ami/AMICorpusMirror/amicorpus/ES2004a/audio/ES2004a.Mix-Headset.wav
!ls -ltra ./ES2004a.Mix-Headset.wav

# -rw-r--r-- 1 root root 33579394 Mar 14  2005 ./ES2004a.Mix-Headset.wav

以下でpipelineをインスタンス化します。

from pyannote.audio import Pipeline
from pyannote.core import Segment, notebook, Annotation
import json
import polars as pl

pipeline = Pipeline.from_pretrained("./tmp/assets/config.yaml")

# send pipeline to GPU (when available)
import torch
pipeline.to(torch.device("cuda"))

上記のコードですがv3の変更点として、明示的にpipeline.toでGPU実行する指定をする必要があります。

次に実際に音声ファイルを処理します。

%%time
diarization = pipeline("./ES2004a.Mix-Headset.wav")

# CPU times: user 8min 10s, sys: 1.27 s, total: 8min 11s
# Wall time: 8min 17s

前回と比較して処理時間が増えたことが分かりました。

以下を実行すると結果を確認できます。

diarization

部分的な出力

部分的なdiarization結果を得るためには、以下のようにSegmentクラスを使うことで可能となっています。

from pyannote.core import Segment, notebook
start = 0
length = 600
EXCERPT = Segment(start, start+length)
notebook.crop = EXCERPT
diarization

またその後、選択した描画範囲をリセットするには以下のコードを実行します。

notebook.reset()

詳細な結果の取得

各区間ごとの詳細を得るには、以下のようにgeneratorを使って得ることができます。

for segment, track_name, label in diarization.itertracks(yield_label=True):
    print(f"{segment.start=:.1f}, {segment.end=:.1f}, {track_name=}, {label=}")

# segment.start=10.9, segment.end=14.8, track_name=1, label='SPEAKER_01'
# segment.start=14.9, segment.end=15.0, track_name=1, label='SPEAKER_01'
# segment.start=15.0, segment.end=15.1, track_name=4, label='SPEAKER_04'
# segment.start=17.9, segment.end=18.4, track_name=4, label='SPEAKER_04'
# segment.start=18.8, segment.end=20.3, track_name=1, label='SPEAKER_01'
# segment.start=22.3, segment.end=23.7, track_name=1, label='SPEAKER_01'
# segment.start=25.1, segment.end=26.5, track_name=2, label='SPEAKER_02'
# segment.start=29.1, segment.end=32.4, track_name=2, label='SPEAKER_02'
#
# ...以降略...

発話率の計算

v2と同じですが、発話率の統計情報を計算するには、以下のようにします。

sorted(diarization.chart())

# [('SPEAKER_00', 132.13921901528124),
#  ('SPEAKER_01', 359.830220713072),
#  ('SPEAKER_02', 239.06621392190178),
#  ('SPEAKER_03', 20.933786078098542),
#  ('SPEAKER_04', 86.36672325976205)]

結果をテキストで出力

テキスト出力については、for_jsonというメソッドがv3で廃止されているようですので、write_labまたはwrite_rttmを使用します。

with open("result_rttm.txt", "wt") as f:
    # diarization.write_lab(f)
    diarization.write_rttm(f)

write_rttmの場合、出力される結果は以下のようになります。

SPEAKER ES2004a.Mix-Headset 1 10.891 3.905 <NA> <NA> SPEAKER_01 <NA> <NA>
SPEAKER ES2004a.Mix-Headset 1 14.898 0.136 <NA> <NA> SPEAKER_01 <NA> <NA>
SPEAKER ES2004a.Mix-Headset 1 15.034 0.102 <NA> <NA> SPEAKER_04 <NA> <NA>
SPEAKER ES2004a.Mix-Headset 1 17.869 0.509 <NA> <NA> SPEAKER_04 <NA> <NA>
SPEAKER ES2004a.Mix-Headset 1 18.820 1.528 <NA> <NA> SPEAKER_01 <NA> <NA>

...以降略...

話者埋め込みの取得

v3ではreturn_embeddings=Trueとすることで、ダイアライゼーション結果の他に、話者の埋め込みベクトルが取得できるようにAPIが変わっています。

以下のようにして実施します。

diarization, embeddings = pipeline("./ES2004a.Mix-Headset.wav", return_embeddings=True)

for s, speaker in enumerate(diarization.labels()):
    # embeddings[s] is the embedding of speaker `speaker`
    print(speaker, embeddings[s].shape)

# SPEAKER_00 (256,)
# SPEAKER_01 (256,)
# SPEAKER_02 (256,)
# SPEAKER_03 (256,)
# SPEAKER_04 (256,)

それぞれ256次元のベクトルで表現されていることが分かります。

まとめ

いかがでしたでしょうか。本記事ではpyannote.audioのv3についての使用方法を見ていきました。

本記事の内容が皆様の参考になれば幸いです。

Share this article

facebook logohatena logotwitter logo

関連記事

testcontainersでPythonからMySQLへ接続してテストしてみた

testcontainersでPythonからMySQLへ接続してテストしてみた

User avatar
アッキー
2024.12.20
SnowflakeにPythonコネクタで接続してみる

SnowflakeにPythonコネクタで接続してみる

User avatar
キタガワ
2024.12.19
API Gateway + Lambda + Pollyでテキストを音声に変換して、Flutterから再生してみた

API Gateway + Lambda + Pollyでテキストを音声に変換して、Flutterから再生してみた

User avatar
sora
2024.12.18
簡単にサンプルデータを生成するPythonのライブラリ「faker」

簡単にサンプルデータを生成するPythonのライブラリ「faker」

User avatar
石川覚
2024.12.17
Classmethod's white logo
Facebook's logo
X's logo
YouTube's logo

© Classmethod, Inc. All rights reserved.